Transcrição da Prova — Lucas Barros Meckler
Matrícula: 20233003953 • Turma1 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Lucas Barros Meckler
Matrícula: 20233003953
Turma: turma1
Taxa de Legibilidade Estimada: 95%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“O overfitting começa na época 8, a perda de treino cai, ao passo que a validação sobe, o que indica uma baixa generalização, sendo preciso usar early stopping e testar o modelo antes de implementar”
Observações de Leitura (OCR): Caligrafia cursiva muito clara e regular; identifica o início do sobreajuste na época 8 e a necessidade de parada antecipada (early stopping).
Item 1.b — Representação e Retropropagação (2,0 pontos)
“Os dados numéricos devem ser normalizados, já os categóricos, codificados com one-hot-encoding ou embeddings. A retropropagação calcula os gradientes da função de perda, o que permite atualizar os pesos da MLP durante o treinamento”
Observações de Leitura (OCR): Cita normalização contínua, one-hot encoding/embeddings para categorias e retropropagação de gradientes para ajuste de pesos.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“O modelo deve ser avaliado em dados independentes, separados por treino, teste e validação, usando métricas como sensibilidade e especificidade, para garantir a reprodutibilidade, devem ser registrados os dados que foram utilizados, além dos hiperparâmetros e das sementes aleatórias”
Observações de Leitura (OCR): Menção completa a partição independente tripla, sensibilidade/especificidade clínica e registro de hiperparâmetros/sementes.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“É preciso comparar o desempenho nos turnos diurno e noturno, o overfitting é indicado pela diferença entre os resultados de treino e validação, já o covariate shift é indicado por mudanças na distribuição de imagens, enquanto as falhas no processo de rotulação são evidenciadas por inconsistências identificadas na revisão manual dos rótulos.”
Observações de Leitura (OCR): Resposta estruturada discriminando com rigor as três hipóteses concorrentes.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“Uma CNN seria adequada para identificar padrões espaciais, como defeitos e bordas, pode-se utilizar um modelo pré-treinado, congelando inicialmente suas camadas e realizando fine-tunning posteriormente, sendo que algumas técnicas de data argumentation ajudam a reduzir o overfitting, como variações de iluminação e contraste”
Observações de Leitura (OCR): Justifica a CNN por padrões espaciais invariantes e detalha a estratégia de congelamento, fine-tuning e data augmentation simulando variações lumínicas.
Item 2.c — Cautela Amostral (1,0 ponto)
“Tem que ser utilizado um conjunto de teste independente, além de calcular intervalos de confiança e realizar a validação cruzada, além disso, também é importante coletar mais imagens rotuladas do turno noturno antes de concluir que houve uma melhora”
Observações de Leitura (OCR): Recomenda intervalos de confiança estatísticos, validação cruzada e ampliação amostral do turno noturno.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“Uma previsão de 0,5 corresponde à uma frequência real de 18%, o que indica que o modelo pode estar superestimando o risco. Dessa forma, está mal calibrado e o limiar não deve ser escolhido apenas com base na interpretação de que probabilidades acima de 0,5 representam maior certeza”
Observações de Leitura (OCR): Identificação correta da superestimação sistemática de probabilidade no ponto de operação \(\hat{p}=0{,}50 \implies 18\%\).
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“Os falsos positivos geram alarmes desnecessários, já os falsos negativos podem atrasar o atendimento de pacientes em risco, é importante que o limiar estabeleça um equilíbrio entre custos dos erros e a capacidade operacional da equipe”
Observações de Leitura (OCR): Ponderação entre custo clínico vital (atraso no paciente grave) e fadiga de alarmes / capacidade física da equipe.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Os dados de entrada, os erros, as previsões e a calibração do modelo devem ser monitorados, sendo necessário investigar a causa ao detectar anomalias, recalibrando e/ou retreinando o modelo”
Observações de Leitura (OCR): Estabelece telemetria de quatro eixos (entradas, erros, previsões e calibração contínua).
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“O Word2Vec gera vetores de palavras fixos, ao passo que modelos como BERT produzem representações contextualizadas. A similaridade do cosseno mede proximidade entre vetores, porém, não garante que o documento recuperado seja relevante, correto ou atualizado”
Observações de Leitura (OCR): Contraste preciso entre embeddings estáticos e contextuais, ressaltando o risco da obsolescência/irrelevância na distância angular pura.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“Apenas retornar um documento não significa que ele seja útil, a avaliação deve usar consultas com documentos relevantes previamente identificados, além de métricas como MRR e nDCG”
Observações de Leitura (OCR): Citação direta de métricas canônicas de ranking e recuperação (MRR e nDCG).
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“A busca híbrida combina a compreensão semântica dos vetores com a busca lexical BM25, que identifica termos exatos, além de permitir filtros por metadados. Normas revogadas devem ser identificadas e excluídas das respostas atuais”
Observações de Leitura (OCR): Cita explicitamente o BM25 combinado a vetores semânticos e filtragem por metadados de vigência.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“O maior escore não garante que uma resposta esteja correta, o sistema deve responder somente quando o primeiro resultado superar o limiar mínimo T1 e sua diferença para o segundo superar T2, caso contrário, deve se abster”
Observações de Leitura (OCR): Formulação canônica com limiar absoluto (\(\tau_1\)) e margem competitiva (\(\tau_2\)) para decisão de abstenção.
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“É imprescindível verificar a autoridade, a validade e a data dos documentos, se houver conflito não resolvido, o sistema deve se abster e encaminhar a consulta para revisão humana, a política deve ser testada com consultas respondíveis e não respondíveis, avaliando erros e abstenções”
Observações de Leitura (OCR): Resposta completa: governança temporal/autoritativa, encaminhamento humano (human-in-the-loop) e avaliação com consultas não respondíveis.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Devem ser monitoradas a taxa de abstenção, os escores de recuperação e os conflitos entre documentos, um aumento anormal nas abstenções pode indicar mudanças no perfil das consultas ou no acervo documental, exigindo revisão das fontes e dos limiares”
Observações de Leitura (OCR): Excelente síntese da telemetria de produção vinculando a taxa de abstenção à revisão de acervo e calibração de limiares.
Espaço para Rascunho ou Cálculos Adicionais (Opcional)
[NÃO RESPONDEU / EM BRANCO]